LEASH：面向计算机使用智能体的不确定性感知弱到强升级与监督
🧭 Agent 弱到强升级与不确定性监督 ★ 深度解读
Simular · University of Wisconsin–Madison
用弱模型隐藏状态的不确定性同时驱动升级决策与黑盒强模型监督，无训练实现高效成本-精度平衡
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 工作流中，可用廉价的本地小模型作为默认执行器，利用其隐藏状态计算不确定性（如马氏距离到历史成功/失败样本）决定是否升级到昂贵的大模型，无需训练额外监控模型，节省推理成本。
- 对于黑盒 API 大模型（如 GPT/Claude）的调用，可复用白盒弱模型作为“影子观察者”，定期对强模型轨迹打分，高不确定性时触发反思或回滚干预，保留对黑盒输出的控制。
- 表示库方法：记录弱模型在任务查询和动作生成时的最后层隐藏状态，按成功/失败标注，用相对马氏距离作为不确定性分数，计算开销低（无额外前向传播），适合长程多步任务。
- 门槛校准：通过参考集的经验分位数设置升级阈值以匹配预算，将升级率作为 budget 代理，可实现可调节的成本-精度权衡，对在线服务很有用。
语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
Pinocchio：黑盒语言模型的快速不确定性估计
🧭 黑盒LLM不确定性估计 · 外部校准器
University of Maryland · Ritual AI · Fudan University · Columbia University
用外部校准器仅凭文本输出预测黑盒LLM回答的正确性，无需logits或微调
📌 工作参考价值（4 点）
- 在Agent/LLM工作流中部署轻量外部校准器（如Pinocchio）作为gate，对LLM生成的推荐理由、商品描述、搜索query改写结果做正确性/可靠性打分，低于阈值触发人工审核或fallback策略。
- 该方法只依赖文本输出，兼容闭源API（GPT/Claude等），适合电商环境中大量使用第三方LLM的场景；无需模型内部access，降低接入成本。
- 跨模型零样本迁移结果表明，可在内部用少数模型标注数据训练一个通用不确定性估计器，直接应用于新模型或外部模型，降低维护成本。
- 0.8B文本模型即可达到大模型AUROC，意味着可部署在CPU或边缘侧，适合在线实时过滤，不影响主链路延迟。
大语言模型中语言置信度与内部置信度的分歧
🧭 LLM 置信度评估与校准
Dartmouth College · Oakland University
系统评估 30 个 LLM 的语言置信度与内部置信度在分类/生成任务上的关联、量级和校准分歧
📌 工作参考价值（4 点）
- 在电商/Agent 流程中若使用 LLM 自报置信度做拒答、路由或加权，不要默认其与内部概率一致；先做多轴诊断：实例级 Spearman/关联、平均置信度差异、ECE/校准曲线。尤其指令调优模型可能高报置信度且校准更差。
- 如果只能拿到语言置信度，优先用“分数示例”prompt 且避免置信度值塌缩（如全 5 分或全高），这样能保留一定 rank-order 信息用于排序/过滤；纯态度引导（“请更谨慎”）只会抬高/降低数值，不改善与真实质量的 alignment。
- 在生成式推荐或文案生成场景，可以用 semantic entropy 或多次采样一致性作为内部不确定性替代语言置信度；若不能用 logits，可让模型输出 1-5 分而非自然语言模糊词，并做分布检查。
- 工程上按 task difficulty/基座能力分层：简单样本或强 base 模型的置信度更有参考价值；复杂长尾商品/query 不要依赖语言置信度做硬过滤。
预测之预测：层间激活融合实现LLM单遍幻觉检测
🧭 LLM幻觉检测·隐藏层动态
提出PoP机制，融合跨层隐藏状态捕获层转移不确定性，在单次前向中检测LLM事实错误
📌 工作参考价值（4 点）
- 对LLM生成的推荐文案、商品描述、搜索query等文本，可在单次前向中提取跨层隐藏状态作为事实置信度信号，用于低成本过滤或风险分级，弥补输出token概率的不足。
- PoP的<1.2%延迟开销适合在线生成式推荐系统，可在不增加额外采样的情况下对生成结果做实时健康度评估，触发人工审核或降级。
- 该机制在TruthfulQA上AUROC仅75.5%，且缺乏跨域验证，在电商场景落地前需用自有业务数据验证检测精度与阈值稳定性。
- 层间转移不确定性可作为特征加入现有质量/风控模型，特别针对商品属性、价格、活动规则等事实性易错点。
小视觉语言模型知道错了但说不出来：真实图像退化下的内部与口头置信度对比
🧭 小模型自我认知与置信度评估
Independent Researcher
小VLM的口头置信度近乎恒定且无法检测错误，但内部token概率却能有效分离正确与错误答案
📌 工作参考价值（4 点）
- 用内部 token 概率做 deferral 信号：当小 VLM 用于商品图片理解、图像文本审核等任务时，直接解析模型输出的口头置信度（如"我确定答案是..."）并不可靠，应改用生成序列的平均 token 概率作为置信度指标，尤其在模型需要自动放弃回答的场景。
- 低质量图像输入要双重预警：在用户上传图片可能严重欠曝/模糊的实际业务中（如直播间截图、用户随手拍），内部概率的 error detection AUROC 会骤降到随机水平，此时应结合图像质量评估模块，严重退化时直接拒绝模型输出，不再依赖任何置信度。
- 小模型的 uncertainty 并不体现在口语化表达里：Qwen2-VL-2B 的口头置信度均值稳定在 0.87-0.90，几乎不随输入质量或答案正确性变化，说明对小模型做 prompt engineering 让其自我评估准确性几乎是无效的，必须依赖 hidden state 或 token 概率等信息。
- SmolVLM 的口头置信度解析成本高到不可用，尝试三种 prompt 模板只有一次成功解析出置信度值，这提醒我们在工程化时，若模型输出格式不可控，则结构化置信度输出方案需要更严格的约束（如强制 JSON 格式），否则直接使用内部概率是更稳定的选择。
用AI预测科学进展：评估前沿模型的局限性
🧭 科学预测评估 · 时序知识截止
University of Oxford · Stanford University · Allen Institute for AI · Sakana AI
提出CUSP基准评估AI预测科学进展的能力，发现当前模型无法可靠预测科学发现的实现与时机，且存在过度自信。
📌 工作参考价值（4 点）
- 评估框架可迁移：CUSP的时序知识截止、多维度评估（可行性、机制推理、解决方案设计、时间预测）设计可迁移到电商销量预测或趋势预测的模型评测中，通过控制训练数据时间窗并引入机制判断，更细粒度诊断预测能力的短板。
- 不确定性校准至关重要：模型在预测任务中表现出系统性过度自信和偏差，提示在推荐系统或Agent推理中，应引入类似的信心评估与校准分析，避免盲目信任模型预测，尤其是在时序前置信息有限时。
- 领域异质性的警示：AI领域预测准确率高于生物、化学、物理，提醒跨领域预测模型（如不同品类、不同市场）可能存在严重域偏置，需要针对性校准，不可直接复用。
- 历史知识增益有限：额外训练前知识能提升但无法弥补到全信息水平，表明单纯堆料不能解决预测问题；在电商长期策略（如大促影响预测）中，可借鉴该实验设计，用受控信息增量测试模型上限。